基于键值存储引擎的元数据管理集群副本一致性的研究

【摘要】在现代存储系统中，为了提高数据访问效率，大多采用将文件数据与其元数据分开存储的组织方式进行管理。然而设计一个高性能、高可靠性的分布式文件系统元数据集群，需要解决的一个很重要的问题便是副本一致性。传统的一致性维护方法普遍用于保证副本间强一致性，但是强一致性容易对系统的读写性能造成较大影响。同时针对关系型数据库存在的负载均衡不足、数据可用性和查询性能欠缺等问题，引入键值存储系统，有效地满足了元数据信息的高并发、高性能访问需求。为此，本文提出了一种基于键值存储引擎的元数据集群副本一致性管理策略，并从副本的放置、读写、恢复以及同步这四个方面展开详细阐述了具体的维护副本方法，最终实现灵活的、用户可配置的副本一致性约束。本文首先介绍通过一致性哈希映射的方法快速地在复杂的集群网络中定位到元数据；接着利用键值存储系统的特点，提出实现了灵活可靠的副本读写策略；再针对集群中可能出现的故障或节点变动问题，介绍副本的恢复处理机制，提高集群的健壮性、鲁棒性；然后具体描述了副本的更新传播方式与副本的同步检测，保证系统副本数据的最终一致性；最后通过读写测试验证集群高效的读写性能，并进行高并发访问的压力测试，检测系统在高负载的情况下仍能提供可靠的服务。
【作者】范立衡；
【导师】周文晖；
【作者基本信息】杭州电子科技大学，计算机应用技术，2014，硕士
【关键词】分布式文件系统；副本一致性；键值存储；元数据；

【参考文献】
[1]王荣.马克思机器大工业思想探析[D].吉林大学,马克思主义哲学,2014,硕士.
[2]韩旭东.补肾活血中药治疗激素性股骨头缺血性坏死的蛋白质组学和临床研究[D].广州中医药大学,中医骨伤科学（专业学位）,2014,博士.
[3]黄智敏.风电增速箱齿轮传动系统动力学特性分析[D].东北大学,一般力学与力学基础,2011,硕士.
[4]胡旭东.高功率连续光纤激光器全局优化的研究[D].北京交通大学,2015.
[5]孙晓冬.一种基于χ~2测试的序列模式挖掘算法[J].辽宁大学学报(自然科学版),2004,02:148-152.
[6]黄淼,王昕,王振雷.非线性多变量零阶接近有界系统的多模型自适应控制[J].自动化学报,2014,09:2057-2065.
[7]望俊成,刘敏.知识经济环境下的客户关系管理[J].企业活力,2005,07:28-29.
[8]聂昕.页岩气储层岩石数字岩心建模及导电性数值模拟研究[D].中国地质大学（北京）,2014.
[9]崔中倩.兴凯湖翘嘴鲌消化系统及其生长的研究[D].东北农业大学,水生生物学,2013,硕士.
[10]夏澄苏.一场没有硝烟的战争[D].苏州大学,比较文学与世界文学,2003,硕士.
[11]陈妙情.应用中医体质量表对EB病毒感染者体质分型的调查[D].广州中医药大学,中医学（专业学位）,2013,硕士.
[12]马先帅.关于不同语言能力下的非英语专业大一新生跨文化交际能力调查研究[D].南京理工大学,外国语言学及应用语言学,2013,硕士.
[13]张琦.磁力耦合器特性试验平台设计[D].大连海事大学,控制工程（专业学位）,2013,硕士.
[14]李稳.淫羊藿苷协同三氧化二砷对人肝细胞肝癌的抑制作用[D].山东大学,内科学（专业学位）,2014,博士.
[15]V.K.Singh,M.K.Patra,M.Manoth,G.S.Gowd,S.R.Vadera,N.Kumar.氧化石墨烯及其氧化铁复合物的原位合成(英文)[J].新型炭材料,2009,02:147-152.
[16]金海.中国电信产业SCP分析及中国联通发展对策研究[D].合肥工业大学,2004.
[17]吴杰.在不同语境下复现目标词汇在高中英语词汇教学中的研究[D].首都师范大学,学科教学,2014,硕士.
[18]马立良.撤机指数对机械通气撤离预测能力的临床研究[D].河北医科大学,急诊医学,2014,硕士.
[19]丁金珠.基于复杂网络的广告信息传播研究[D].南京邮电大学,控制理论与控制工程,2013,硕士.
[20]高飞航.分类标签与主题标签区分方法的研究[D].东北大学,计算机应用技术,2011,硕士.
[21]黎向华.入侵检测与校园网络安全研究[D].湖南大学,计算机技术,2011,硕士.
[22]刘冬.对主体模式下高中生历史观教育的探讨[D].福建师范大学,教育,2003,硕士.
[23]李丹.论我国建筑物区分所有权制度的立法选择[D].华东政法学院,法律,2004,硕士.
[24]戴仲辉.全媒体发展对我国新闻传播的影响研究[D].渤海大学,新闻学,2013,硕士.
[25]葛磊.谐振变换及数字化控制技术在加速器中的应用[D].中国科学技术大学,核技术及应用,2014,博士.
[26]亚信北京研发中心总监刘丰.借经营分析系统提升竞争力[N].通信产业报,2003-10-15.
[27]姚亮.A1元素对17-7PH、2205不锈钢组织、性能的影响及作用机制[D].兰州理工大学,先进材料及制备技术,2013,硕士.
[28]吴岳强.数据仓库技术及其应用分析(续)[J].江苏通信技术,2001,02:18-20.
[29]黄琦金,沈文锋,宋伟杰.液相还原法制备铜纳米线及其在透明电极方面的应用[J].材料导报,2014,03:146-151.
[30]梁志荣.Photo-Fenton法处理偶氮染料废水的研究[D].重庆大学,环境工程,2003,硕士.
[31]王彦慧.民办高校基层党组织建设研究[D].武汉纺织大学,思想政治教育,2014,硕士.
[32]陈海俊.基于PZT换能器的时均流激声发动机输出特性研究[D].浙江大学,制冷及低温工程,2013,硕士.
[33]张莉莉.MANET中基于稳定拓扑的DDoS攻击源追踪研究[D].复旦大学,计算机应用技术,2012,硕士.
[34]国嘉,王瑞敏,王家海.开放式数据挖掘系统模型[J].舰船电子工程,2004,06:74-76+88.
[35]廖克,秦建新,张青年.地球信息图谱与数字地球[J].地理研究,2001,01:55-61.
[36]闫萍.大鼠铜绿假单胞菌慢性肺部感染生物膜的致病作用研究[D].广西医科大学,呼吸内科,2004,硕士.
[37]李清.沿海地区中学生主观幸福感与神经质、外向性人格特征的关系研究[D].福建师范大学,发展与教育心理学,2004,硕士.
[38]刘硕.Z源/quasi-Z源间接矩阵变换器研究[D].北京交通大学,2014.
[39]王卿卿.论内战前美国循道宗在奴隶制问题上的立场演变[D].鲁东大学,世界史,2014,硕士.
[40]詹润翠.高中学生数学运算能力及其培养研究[D].内蒙古师范大学,学科教学（专业学位）,2011,硕士.
[41]任明晖.面向企业战略制定的鲁棒决策方法研究[D].合肥工业大学,管理科学与工程,2013,硕士.
[42]汪鹏.Ontology知识表示的艺术[J].计算机教育,2004,07:41-43.
[43]刘心悦.提升福建省高校科技创新能力的对策研究[D].福建师范大学,公共管理（专业学位）,2012,硕士.
[44]杜婷婷.化脓隐秘杆菌基因组测序及pbp3基因的生物信息学分析[D].沈阳农业大学,基础兽医学,2013,硕士.
[45]李辉.基于RTP的H.264视频传输系统的设计与实现[D].吉林大学,软件工程,2013,硕士.
[46]李秀云.网络环境下的知识组织社会化服务[J].图书情报工作,2003,10:18-21+54.
[47]石范锋,万能.基于ASP.NET的志愿者管理信息系统设计与实现[J].软件导刊,2015,04:92-93.
[48]李英俊.汽车销售系统数据仓库解决方案[D].山东大学,2005.
[49]刘金菊.周恩来对新四军组建与发展的历史贡献[D].华东师范大学,马克思主义理论与思想政治教育,2003,硕士.
[50]田真真.过渡金属材料对吡啶碱水热合成和三氯乙烯降解影响的研究[D].吉林大学,无机化学,2014,硕士.